Due to the issue that existing wireless sensor network (WSN)-based anomaly detection methods only consider and analyze temporal features, in this paper, a self-supervised learning-based anomaly node detection method based on an autoencoder is designed. This method integrates temporal WSN data flow feature extraction, spatial position feature extraction and intermodal WSN correlation feature extraction into the design of the autoencoder to make full use of the spatial and temporal information of the WSN for anomaly detection. First, a fully connected network is used to extract the temporal features of nodes by considering a single mode from a local spatial perspective. Second, a graph neural network (GNN) is used to introduce the WSN topology from a global spatial perspective for anomaly detection and extract the spatial and temporal features of the data flows of nodes and their neighbors by considering a single mode. Then, the adaptive fusion method involving weighted summation is used to extract the relevant features between different models. In addition, this paper introduces a gated recurrent unit (GRU) to solve the long-term dependence problem of the time dimension. Eventually, the reconstructed output of the decoder and the hidden layer representation of the autoencoder are fed into a fully connected network to calculate the anomaly probability of the current system. Since the spatial feature extraction operation is advanced, the designed method can be applied to the task of large-scale network anomaly detection by adding a clustering operation. Experiments show that the designed method outperforms the baselines, and the F1 score reaches 90.6%, which is 5.2% higher than those of the existing anomaly detection methods based on unsupervised reconstruction and prediction. Code and model are available at https://github.com/GuetYe/anomaly_detection/GLSL
translated by 谷歌翻译
Prompt learning is one of the most effective and trending ways to adapt powerful vision-language foundation models like CLIP to downstream datasets by tuning learnable prompt vectors with very few samples. However, although prompt learning achieves excellent performance over in-domain data, it still faces the major challenge of generalizing to unseen classes and domains. Some existing prompt learning methods tackle this issue by adaptively generating different prompts for different tokens or domains but neglecting the ability of learned prompts to generalize to unseen domains. In this paper, we propose a novel prompt learning paradigm that directly generates domain invariant prompt generalizable to unseen domains, called MetaPrompt. Specifically, a dual-modality prompt tuning network is proposed to generate prompts for inputs from both image and text modalities. More importantly, we propose a meta-learning-based prompt tuning algorithm that explicitly constrains the prompt tuned on a specific domain or class also to achieve good performance on another domain or class. Extensive experiments on 11 datasets for base-to-new generalization and four datasets for domain generalization demonstrate that our method consistently and significantly outperforms existing methods.
translated by 谷歌翻译
3D场景流动表征了当前时间的点如何流到3D欧几里得空间中的下一次,该空间具有自主推断场景中所有对象的非刚性运动的能力。从图像估算场景流的先前方法具有局限性,该方法通过分别估计光流和差异来划分3D场景流的整体性质。学习3D场景从点云流动也面临着综合数据和真实数据与LIDAR点云的稀疏性之间差距的困难。在本文中,利用生成的密集深度图来获得显式的3D坐标,该坐标可直接从2D图像中学习3D场景流。通过将2D像素的密度性质引入3D空间,可以改善预测场景流的稳定性。通过统计方法消除了生成的3D点云中的离群值,以削弱噪声点对3D场景流估计任务的影响。提出了差异一致性损失,以实现3D场景流的更有效的无监督学习。比较了现实世界图像上3D场景流的自我监督学习方法与在综合数据集中学习的多种方法和在LIDAR点云上学习的方法。显示多个场景流量指标的比较可以证明引入伪LIDAR点云到场景流量估计的有效性和优势。
translated by 谷歌翻译
有希望的互补性存在着颜色图像的纹理特征和激光点云的几何信息。但是,在3D对象检测领域中,仍然存在许多挑战,以实现高效且可靠的特征融合。在本文中,首先,在2D平面中填充了非结构化的3D点云,并且使用投影感知的卷积层更快地提取3D点云特征。此外,在数据预处理中提前建立了不同传感器信号之间的相应索引,从而实现更快的交叉模式融合。为了解决LIDAR点和图像像素的未对准问题,提出了两个新的插件融合模块,即licamfuse和bilicamfuse。在Licamfuse中,提出了带有双峰特征的欧几里得距离的软查询权重。在Bilicamfuse中,提出了双重注意的融合模块,以深层关联场景的几何和纹理特征。 KITTI数据集上的定量结果表明,所提出的方法可以实现更好的特征级融合。此外,与现有方法相比,建议的网络显示出更短的运行时间。
translated by 谷歌翻译
在现有方法中,LIDAR的探测器显示出卓越的性能,但视觉探测器仍被广泛用于其价格优势。从惯例上讲,视觉检验的任务主要依赖于连续图像的输入。但是,探测器网络学习图像提供的异性几何信息非常复杂。在本文中,将伪LIDAR的概念引入了探测器中以解决此问题。伪LIDAR点云背面项目由图像生成的深度图中的3D点云,这改变了图像表示的方式。与立体声图像相比,立体声匹配网络生成的伪lidar点云可以得到显式的3D坐标。由于在3D空间中发生了6个自由度(DOF)姿势转换,因此伪宽点云提供的3D结构信息比图像更直接。与稀疏的激光雷达相比,伪驱动器具有较密集的点云。为了充分利用伪LIDAR提供的丰富点云信息,采用了投射感知的探测管道。以前的大多数基于激光雷达的算法从点云中采样了8192点,作为探视网络的输入。投影感知的密集探测管道采用从图像产生的所有伪lidar点云,除了误差点作为网络的输入。在图像中充分利用3D几何信息时,图像中的语义信息也用于探视任务中。 2D-3D的融合是在仅基于图像的进程中实现的。 Kitti数据集的实验证明了我们方法的有效性。据我们所知,这是使用伪LIDAR的第一种视觉探光法。
translated by 谷歌翻译
传统的多播路由方法在构建多播树时存在一些问题,例如对网络状态信息的访问有限,对网络的动态和复杂变化的适应性不佳以及不灵活的数据转发。为了解决这些缺陷,软件定义网络(SDN)中的最佳多播路由问题是根据多目标优化问题量身定制的,以及基于深Q网络(DQN)深度强化学习(DQN)的智能多播路由算法DRL-M4MR( DRL)方法旨在构建SDN中的多播树。首先,通过组合SDN的全局视图和控制,将多播树状态矩阵,链路带宽矩阵,链路延迟矩阵和链路延迟损耗矩阵设计为DRL代理的状态空间。其次,代理的动作空间是网络中的所有链接,而动作选择策略旨在将链接添加到四种情况下的当前多播树。第三,单步和最终奖励功能表格旨在指导智能以做出决定以构建最佳多播树。实验结果表明,与现有算法相比,DRL-M4MR的多播树结构可以在训练后获得更好的带宽,延迟和数据包损耗率,并且可以在动态网络环境中做出更智能的多播路由决策。
translated by 谷歌翻译
垂直联合学习(VFL)是一个新兴的范式,允许不同的方(例如组织或企业)协作建立具有隐私保护的机器学习模型。在训练阶段,VFL仅交换跨各方的中间统计数据,即正向激活和向后导数,以计算模型梯度。然而,由于其地理分布性质,VFL训练通常会受到低WAN带宽的影响。在本文中,我们介绍了一种新颖有效的VFL培训框架Celu-VFL,该框架利用了本地更新技术来减少跨党的交流回合。 CELU-VFL缓存了陈旧的统计数据,并将其重新估算模型梯度,而无需交换临时统计。提出了重要的技术来提高收敛性能。首先,为了解决随机方差问题,我们提出了一种统一的采样策略,以公平地选择本地更新的陈旧统计信息。其次,为了利用稳定性带来的错误,我们设计了一种实例加权机制,以衡量估计梯度的可靠性。理论分析证明,CELU-VFL达到了与Vanilla VFL训练相似的亚线性收敛率,但需要更少的通信回合。公共和现实世界工作负载的经验结果验证了CELU-VFL的速度可能比现有作品快六倍。
translated by 谷歌翻译
自动驾驶中的3D对象检测旨在推理3D世界中感兴趣的对象的“什么”和“在哪里”。遵循先前2D对象检测的传统智慧,现有方法通常采用垂直轴的规范笛卡尔坐标系。但是,我们共轭这并不符合自我汽车的视角的本质,因为每个板载摄像头都以激进(非垂体)轴的成像几何形状感知到了楔形的楔形世界。因此,在本文中,我们主张对极性坐标系的开发,并提出一个新的极性变压器(极性形式),以在Bird's-eye-View(BEV)中更准确的3D对象检测(BEV),仅作为输入仅作为输入的多相机2D图像。具体而言,我们设计了一个基于交叉注意的极性检测头,而无需限制输入结构的形状以处理不规则的极性网格。为了解决沿极性距离维度的不受约束的物体量表变化,我们进一步引入了多个层状表示策略。结果,我们的模型可以通过参与序列到序列时尚的相应图像观察来充分利用极性表示,但要受几何约束。对Nuscenes数据集进行的彻底实验表明,我们的极性形式的表现明显优于最先进的3D对象检测替代方案,并且在BEV语义分割任务上产生了竞争性能。
translated by 谷歌翻译
在过去的十年中,以数据为驱动的特别基于深度学习的方法已成为机器人Grasp计划的主要范式。但是,这些方法的性能在很大程度上受到可用培训数据集质量的影响。在本文中,我们提出了一个框架来生成对象形状以增强握把数据集,从而可以提高预设计的深神经网络的掌握能力。首先,使用编码器解码器结构网络将对象形状嵌入到低维特征空间中。然后,使用异常检测和掌握质量标准计算每个对象形状的稀有性和掌握得分。最后,在特征空间中生成了新的对象,以利用原始的高稀有性和掌握分数对象的特征。实验结果表明,通过生成的对象形状可以有效提高基于学习的GRASP计划网络的掌握能力。
translated by 谷歌翻译
深度学习技术导致了通用对象检测领域的显着突破,近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解,场景图一直是研究的焦点。场景图生成(SGG)是指自动将图像映射到语义结构场景图中的任务,这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务,但社区已经提出了许多SGG方法并取得了良好的效果。在本文中,我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品,涵盖了不同的输入方式,并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法,概述和解释SGG的机制和策略。最后,我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。
translated by 谷歌翻译